Deep spiking neural networks (SNNs) offer the promise of low-power artificial intelligence. However, training deep SNNs from scratch or converting deep artificial neural networks to SNNs without loss of performance has been a challenge. Here we propose an exact mapping from a network with Rectified Linear Units (ReLUs) to an SNN that fires exactly one spike per neuron. For our constructive proof, we assume that an arbitrary multi-layer ReLU network with or without convolutional layers, batch normalization and max pooling layers was trained to high performance on some training set. Furthermore, we assume that we have access to a representative example of input data used during training and to the exact parameters (weights and biases) of the trained ReLU network. The mapping from deep ReLU networks to SNNs causes zero percent drop in accuracy on CIFAR10, CIFAR100 and the ImageNet-like data sets Places365 and PASS. More generally our work shows that an arbitrary deep ReLU network can be replaced by an energy-efficient single-spike neural network without any loss of performance.
translated by 谷歌翻译
令人惊讶的事件触发了可衡量的大脑活动，并通过影响学习，记忆和决策来影响人类行为。但是，目前在惊喜的定义上尚无共识。在这里，我们确定了统一框架中惊喜的18个数学定义。我们首先将这些定义的技术分类基于它们对代理人的信念的依赖，展示它们如何相互关系，并在什么条件下证明它们是无法区分的。除了这项技术分析之外，我们提出了一个惊喜定义的分类法，并根据它们测量的数量将其分类为四个概念类别：（i）“预测惊喜”衡量预测与观察之间的不匹配； （ii）“变更点检测惊喜”衡量了环境变化的可能性； （iii）“信心校正的惊喜”明确说明了信心的影响； （iv）“信息获得惊喜”衡量了对新观察的信念更新。该分类法为大脑中功能作用和生理特征的原则研究奠定了基础。
translated by 谷歌翻译
我们考虑训练神经网络以存储具有最大噪声稳健性的图案的问题。从最佳权重和状态更新规则方面，解决方案是通过训练每个单独的神经元来执行内核分类或以最小权重规范执行核的分类而得出的。通过将此方法应用于馈送和经常性网络，我们得出了最佳网络，包括特殊情况，包括过去几年中提出的许多异性和自动缔合性记忆模型，例如现代Hopfield Networks和Kanerva's稀疏的分布式内存。我们概括了Kanerva的模型，并展示了一种设计内核内存网络的简单方法，该内核存储网络可以存储具有有限吸引力盆地的连续值数字数量。内核内存网络的框架提供了一种简单而直观的方式来了解以前的存储器模型的存储容量，并允许从树突非线性和突触聚类中进行新的生物学解释。
translated by 谷歌翻译
拟合网络模型到神经活动是神经科学的重要工具。一种流行的方法是利用概率经常性尖刺网络来模拟大脑区域，其参数最大化记录的活动的可能性。虽然这是广泛使用的，但我们表明所得模型不会产生现实的神经活动。要纠正此功能，我们建议使用测量模拟和录制活动之间的异化的术语来增加日志可能性。这种不相似性通过神经科学常用的概要统计来定义，并且优化是有效的，因为它依赖于通过随机模拟的尖峰列车的背部传播。理论上我们分析了这种方法，并经验展示它产生更现实的活动统计数据。我们发现它可以改善其他拟合算法，用于尖刺网络模型，如GLM（广义线性模型），通常不依赖于反向传播。这种新的拟合算法还使得能够考虑难以苛刻的隐藏神经元，并且我们表明在尝试从尖峰录制中推断网络连接时可能是至关重要的。
translated by 谷歌翻译
目的：大大缩短定量3D化学交换饱和转移（CEST）和半固体磁化转移（MT）成像所需的采集时间，并允许快速化学交换参数图重建。方法：三维CEST和MT磁共振指纹（MRF）数据集的L-精氨酸幻象，全脑，全脑和小腿肌肉的健康志愿者，癌症患者和心脏病患者是使用3T临床扫描仪在3T不同的位点使用3T临床扫描仪获得的3种不同的扫描仪模型和线圈。然后，设计和训练了一个生成的对抗网络监督框架（GAN-CEST），以学习从减少的输入数据空间到定量交换参数空间的映射，同时保留感知和定量内容。结果：GAN-CEST 3D采集时间为42-52秒，比CEST-MRF短70％。整个大脑的定量重建需要0.8秒。在地面真相和基于GAN的L-精氨酸浓度和pH值之间观察到了极好的一致性（Pearson的R> 0.97，NRMSE <1.5％）。来自脑肿瘤受试者的gan-cest图像产生的半固体量分数和汇率NRMSE为3.8 $ \ pm $ 1.3％和4.6 $ \ pm $ 1.3％，SSIM和96.3 $ \ pm $ \ pm $ 1.6％和95.0 $ \ pm $ 2.4％。半固体交换参数的NRMSE <7％和SSIM> 94％的小腿肌肉交换参数的映射。与MRF相比，在具有较大敏感性伪像的区域中，Gan-Cest表现出改善的性能和噪声降低。结论：Gan-Cest可以大大减少定量半固体MT/CEST映射的获取时间，同时即使在训练过程中无法使用的病理和扫描仪模型时，也可以保持性能。
translated by 谷歌翻译
深度学习（DL）模型为各种医学成像基准挑战提供了最先进的性能，包括脑肿瘤细分（BRATS）挑战。然而，局灶性病理多隔室分割（例如，肿瘤和病变子区）的任务特别具有挑战性，并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性，可以实现最不确定的地区的临床审查，从而建立信任并铺平临床翻译。最近，已经引入了许多不确定性估计方法，用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中，我们探索并评估在Brats 2019-2020任务期间开发的公制，以对不确定量化量化（Qu-Brats），并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制（1）奖励不确定性估计，对正确断言产生高置信度，以及在不正确的断言处分配低置信水平的估计数，（2）惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性，所有这些都参与了主要的Brats细分任务。总体而言，我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值，因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。
translated by 谷歌翻译